On-Policy and Off-Policy Learning for Large Action Spaces
面向大动作空间的在线与离线上下文老虎机学习方法
🧭 大规模决策 · 上下文老虎机 ★ 深度解读
CREST, ENSAE, Institut Polytechnique de Paris · Criteo AI Lab
通过结构化贝叶斯先验与优化友好的目标，使上下文老虎机在万亿级动作空间下高效探索与安全离线学习
📌 工作参考价值（4 点）
- 冷启动与物品共享表示：meTS 和 dTS 利用共享的潜在效应或扩散模型先验，在不牺牲每个物品独立 embedding 灵活性的前提下实现信息共享，可直接用于推荐系统的在线探索，显著降低新物品的探索成本。
- 离线策略学习的结构化先验：sDM 通过层次化贝叶斯结构共享物品参数，避免传统直接法在大量物品下因数据稀疏导致的估计偏差，且无需强假设全日志支持，适合电商场景中日志覆盖不均的问题。
- 优化优于估计：在大动作空间（百万级）下，IPS 目标函数高度非凹且存在大量鞍点，应优先使用policy-weighted log-likelihood (PWLL) 目标，它具备强凹性，易于随机优化，能稳定获得高性能策略，已在大规模实验中验证。
- 安全离线学习：论文提出的基于指数平滑的可微分悲观目标，结合 PAC-Bayes 界，将方差控制与保守策略融入梯度优化流程，可直接用于线上推荐系统的离线训练，避免上线后因分布偏移导致的性能崩塌。